AI技术与“网络暴力”治理：人工智能如何应对网络暴力？

“网络暴力”是什么？

“网络暴力”的成因，一是网络的匿名性，保护了个人隐私的同时，也让侵权者可以发表不计后果的言论；二是部分媒体为了追求流量与关注度，采用片面报道和刻意扭曲事实来增加话题性；三是当舆论形成，个人容易趋向于群体价值理念的方向、忽视了自我理性思考的能力。

社交媒体上的网络暴力主要以评论、弹幕等形式传播，对于分析评论、弹幕这样的非结构化语言数据，应用的核心AI技术主要是自然语言处理。自然语言处理技术基于机器学习和深度学习方法，能够让机器自动学习语言特征，从而让机器拥有对人类语言的理解能力，目前该技术已广泛用于文本分类、自动摘要、问答系统、机器翻译、情感分析等方面，在现实生活中常见的语音助手、以及最近大火的ChatGPT等都是自然语言处理技术常见的应用，而在“网络暴力”治理方面，也会涉及到以下几个方向：

“网暴”的对象通常是某个人物或事件，所以我们首先要在海量评论数据中筛选出对某网暴事件的评论，这里面主要涉及命名实体识别算法（NER）。NER算法主要分为基于规则方法，基于统计方法，基于深度学习方法等。

图1 命名实体识别方法

情感分析可以针对某条评论进行正/负向打分，同时识别出语义中是否包含不同种类的情绪细节，还可以从文本中智能提炼对整体情绪影响最大的关键词。从而可以了解千万条评论内容背后的网民情绪分布，甚至还可以按时段，按地域，按性别对不同群体对不同事件的情绪进行分析，及时管控对事件的消极暴力情绪，同时根据极性词挖掘更多潜在网暴行为。

图2 不同的情绪分类

图3 句子级情感分析方案

文本相似度分析：

图4 相似度分析的两种范式

第一种范式首先通过深度神经网络提取评论内容的表示向量，再通过表示向量的简单距离函数（欧式距离等）计算两者的相似度，这种方式提取表示向量通常用孪生网络来实现，属于这一类的常用模型包括DSSM、CNTN等。

第二种范式是通过深度模型提取评论内容的交叉特征，得到匹配信号张量，再聚合为相似度分数。

句法/词法分析：

词法分析的任务就是：将输入的评论内容字符串转换成词序列并标记出各词的词性，主要用到序列标注技术，具体算法包括，条件随机场（CRF）、RNN+CRF等。

<span style="color: rgb(51, 51, 51); font-family: " pingfang="" sc",="" xhw-pzh,="" "lantinghei="" "helvetica="" neue",="" helvetica,="" arial,="" "microsoft="" yahei",="" 微软雅黑,="" stheitisc-light,="" simsun,="" 宋体,="" "wenquanyi="" zen="" hei",="" micro="" sans-serif;="" background-color:="" rgb(255,="" 255,="" 255);="" font-size:="" 16px;"="">图5 词法分析样例

总结

随着AI技术的发展，基于技术手段的互联网暴力治理，将逐渐扮演重要角色。中国移动智慧家庭运营中心将在该场景持续进行先进技术探索，结合业界前沿技术赋能内容生态构建，积极响应国家网信办“清朗”系列专项行动，为清朗网络环境贡献自己的一份力量。

【1】知乎百科：网络暴力，https://www.zhihu.com/topic/19592480/intro

【3】自然语言处理NLP（6）——词法分析，https://blog.csdn.net/echoKangYL/article/details/87912509

单位：中国移动智慧家庭运营中心